Planning to Learn
规划学习：按剩余训练预算在交叉熵与策略梯度间插值的 horizon loss
🧭 训练损失函数 · 学习预算规划 ★ 深度解读
Google DeepMind
提出 horizon loss，依据剩余学习预算把交叉熵动态过渡到精确策略梯度，提升 top-1 准确率和抗噪能力
📌 工作参考价值（4 点）
- 在 CTR/CVR 预估、多分类、生成式推荐的 Semantic ID 分类等以 top-1/accuracy 为目标的任务中，可尝试把每样本 loss 改为 horizon loss：仅需计算 σ(z+H)-σ(z) 权重乘 ∇z，不改模型结构；需按数据集标定 κ 为剩余学习率之和的换算系数。
- 当训练数据存在点击噪声、错误标注或行为噪声时，cross-entropy 会在后期 memorization 噪声样本；horizon loss 会随着预算减少自动降低这些无法修复样本的权重，从而提升干净测试集 top-1，效果随噪声率增大而增强。
- 若目标是校准或 NLL（如知识蒸馏、温度校准），不要直接套 accuracy 版 horizon loss：应使用 planning cross-entropy（P_H[CE]/(1-e^{-H})），它会降低 NLL 但可能牺牲 accuracy；目标不同要选择对应 planning objective。
- 在 LLM post-training / RLHF 的 policy gradient 场景中，PG 的 myopic 分配缺陷同样存在；可以考虑在 policy gradient loss 中引入剩余 rollout 或训练步数作为 horizon，让早期像 likelihood、晚期像 reward，缓解对 lost causes 的过度投入。